W starych dokumentach, począwszy od średniowiecza występują niektórzy ówcześni właściciele Zarogowa:
- Mikołaj z Zarogowa - 1382 r.,
- Wojciech z Zarogowa - 1388 r.,
- Jan Gołuchowski - I połowa XVI w.,
- Staszkowscy (właściciele lub dzierżawcy) - 1581 r. (Jan Staszkowski - 1605 rok, dziedzic Zarogowa),
- Russoccy - XVIII w.
Józef Russocki h. Zadora ( -1783) był właścicielem - oprócz Zarogowa - także Piotrowic, Sławic, Wymysłowa, Sławkowic(?) i Witowic.
Józef Russocki - był chorążym bracławskim, deputatem i sędzią kapturowym powiatu ksiąskiego, elektorem królewskim, posłem z księstw zatorsko-oświęcimskich.
Kolejnym właścicielem Zarogowa (dóbr Zarogów, w tym folwarków Zagaje i Wymysłów), Witowic, Zaryszyna był syn Józefa, hrabia Mikołaj Russocki (między 1745/1750-1818). Kawaler Orderu św. Stanisława, Orderu Orła Białego, papieskiej Złotej Ostrogi.
W 1767 r. Mikołaj otrzymał nominację na chorążego pułku artylerii koronnej, w 1778 r. został skarbnikiem, w 1780 r. mniejszym wojskim, 1784 łowczym, 1785 – cześnikiem. W 1776 r. był asesorem marszałka sejmiku krakowskiego i marszałkiem sejmiku w 1782 r. oraz deputowanym do Trybunału Koronnego w 1785 r.
Mikołaj Russocki był żonaty z Magdaleną z Dobińskich, córką Zygmunta, kasztelana brzezińskiego. Miał z nią m.in. córkę Annę i synów: Zygmunta, od r. 1812 sędziego pokoju pow. miechowskiego, oraz Józefa Tomasza, szambelana austriackiego.
Dnia 6 listopada 1800 r. otrzymał tytuł hrabiego Galicji Zachodniej, a 26 kwietnia 1803 r. Cesarstwa Rzymskiego.
W XIX wieku Zarogów przechodzi w ręce rodu Katerlów. W 1846 roku jako właściciel Zarogowa i Piotrowic wymieniany jest Ludwik Katerla. Kazimierz Girtler w 1861 roku opisywał zjazdowy obiad "u Katerlego" w Zarogowie, gdzie zgromadziło się około 50 obywateli, radzących jak postępować w związku z wyborami do rady powiatowej i ze zniesieniem pańszczyzny.
W 1886 roku zmarł Piotr Rudzki, dzierżawca Dziewięcioł i Nasiechowic. W trzy lata po śmierci męża, Alina Rudzka z Wędrychowskich kupiła majątek Zarogów. Zofia Rudzka, córka Piotra i Aliny wyszła za mąż za Krzysztofa Rudzkiego, syna Józefa - dzierżawcy Słomniczek i Łososkowic.
Właścicielami Zarogowa - do 1945 roku - byli Janusz Rudzki i jego żona Janina z Breitenwaldów.
W latach 80-tych XX wieku dwór (w ruinie) zakupiła rodzina Moździńskich, która własnym wieloletnim wysiłkiem doprowadziła go do stanu ponownej świetności.